【数据库管理专题】PostgreSQL基于流复制的HA实现
继上两周由DBA+杭州群联合发起人周正中带来的数据库安全专题分享，本周起，他将为大家分享数据库管理专题，以下讲解的是PostgreSQL基于流复制的HA实现。
专家简介
周正中
网名：德哥@Digoal
DBA+杭州群联合发起人之一
PostgreSQL中国社区发起人之一，负责杭州分会，兼任社区CTO一职。曾就职于斯凯网络，负责数据库部门。现就职于阿里巴巴，负责RDS PG内核组事务。
前段时间弄了个小玩意，适合2台主机，使用PostgreSQL流复制组建HA。
实现自动的failover和failback。
已经提交到github, 主备角色各一个虚拟IP。
https://github.com/digoal/PostgreSQL_HA_with_primary_standby_2vip
有此类需求的朋友可以下载测试。
之前还写过一个master对应单个IP，并且不会自动failback的脚本，没有这个复杂，也比较好用。
https://github.com/digoal/sky_postgresql_cluster
如果使用RHCS的话，可以组件基于共享存储的HA，我写过几篇文章详细介绍如何部署。
http://blog.163.com/digoal@126/blog/static/163877040201481085344535/
http://blog.163.com/digoal@126/blog/static/163877040201481085624211/
回到主题，讲一下2台主机如何使用流复制来做HA。
A HA script for PostgreSQL with 2 HOST (one for primary, one for standby), Primary with one VIP, Standby with another VIP. Auto failover and failback.
硬件需求：
两台主机，分别负责primary和standby；
2台主机还需要2个fence设备，切换时防止脑裂。
2个虚拟IP，分别对应primary和standby；
三种状态，primary，standby，primary_standby；
三种状态自由切换：
当1台主机异常时，另一台主机承担primary_standby角色，并启动2个虚拟IP。
正常情况下两台主机分别承担primary和standby角色， 分别启动一个虚拟IP。
应用程序连接虚拟IP，一个虚拟IP对应的是primary， 另一个虚拟IP对应的是standby。
虚拟IP和角色的关系固定，不会变化，例如：
假设192.168.111.130对应primary角色，那么不管怎么切换，他们始终在一起(谁是primary，谁就会启动192.168.111.130)。
数据库角色转变和心跳原理：
1. 根据文件recovery.conf是否存在检测本地节点角色
存在(standby)，不存在(master)
2. 加载NFS对端归档目录
3. 启动数据库
如果是standby
1 备份上一个控制文件副本
2 备份当前控制文件
3 启动数据库
如果是master
1. 启动数据库
启动VIP
如果是standby
1. 启动vips
如果是master
1. 如果vipm已被其他节点启动
降级为standby
启动vips
2. 如果vipm没有被其他节点启动
启动vipm
触发第一次心跳
循环心跳检测
不同的角色，循环逻辑不同：
master角色，循环检查
1. 网关检查，反映本地网络状况
2. 本地心跳检查，反映本地数据库健康状态
3. 本地角色对应IP检查
4. 检查VIPS、PORT、数据库心跳
==如果本地健康，对端不健康
==触发切换
1. 主节点fence standby
2. 主节点接管VIPS
3. 主节点转换master_standby角色
standby角色，循环检查
1. 网关检查，反映本地网络状况
2. 本地心跳检查，反映本地数据库健康状态
3. 本地角色对应IP检查
4. 检查备延迟，判断是否允许promote
5. 检查VIPM、PORT、数据库心跳
==如果本地健康，对端不健康
==触发切换
1. 备节点fence master
2. 备节点停库
3. 备节点备份控制文件
4. 备节点注释restore_command
5. 备节点启动数据库
6. 备节点激活数据库
7. 备节点接管VIPM
8. 备节点转换master_standby角色
master_standby角色，循环检查
1. 检查对端数据库监听是否启动
==如果对端数据库已启动
==触发释放vips
1. 释放vips
2. 转换为master角色
架构图：
[压力测试以及一致性测试]
主192.168.173.37
备192.168.173.42
创建测试表 , 测试函数
postgres=# create table test(id int primary key, info text, crt_time timestamp);
CREATE TABLE
postgres=# create or replace function f_test(i_id int) returns void as $$
declare
begin
update test set info=md5(random()::text),crt_time=now() where id=i_id;
if not found then
insert into test values(i_id,md5(random()::text),now());
end if;
exception when others then
return;
end;
$$ language plpgsql strict;
压力测试脚本
vi test.sql
\setrandom id 1 30000000
select f_test(:id);
压力测试
postgres@db-192-168-173-37-> pgbench -M prepared -n -r -f ./test.sql -c 16 -j 4 -T 3000
在约1分钟后, 关闭主库eth0:1 接口
[root@db-192-168-173-37 ~]# ifdown eth0:1
这期间173.37还在做压力测试, 数据库已经和42产生了差异数据.
看后面37能不能顺利转换成standby
触发切换, 备切换成主备角色
[root@db-192-168-173-42 ~]# tail -f -n 1 /tmp/sky_pg_clusterd.log
2015-01-0408:50:42 detecting eth0 192.168.173.130 exists, ps: return 0 exist, other not exist.
checkmaster check times: 3
2015-01-0408:50:45 detecting eth0 192.168.173.130 exists, ps: return 0 exist, other not exist.
checkmaster check times: 4
2015-01-0408:50:48 detecting eth0 192.168.173.130 exists, ps: return 0 exist, other not exist.
checkmaster check times: 5
2015-01-0408:50:51 detecting eth0 192.168.173.130 exists, ps: return 0 exist, other not exist.
checkmaster ipscan timeout: 5
2015-01-0408:50:53 normal fenceing, waiting...
Success: Rebooted
waiting for server to shut down............. done
server stopped
waiting for server to start....LOG: 00000: redirecting log output to logging collector process
HINT: Future log output will appear in directory "pg_log".
LOCATION: SysLogger_Start, syslogger.c:649
.............................. done
server started
2015-01-0408:51:48 promoting database ...
server promoting
2015-01-0408:51:48 testing promote status
2015-01-0408:51:48 promoting...
2015-01-0408:51:49 testing promote status
2015-01-0408:51:49 promote success.
CHECKPOINT
pg_switch_xlog
----------------
1/14C58C30
(1 row)
CHECKPOINT
pg_switch_xlog
----------------
1/150000E8
(1 row)
CHECKPOINT
2015-01-0408:51:56 eth0:1 if upping. 1.
2015-01-0408:52:00 eth0:1 upped success.
2015-01-0408:52:00 this is m_s
2015-01-0408:52:01 detecting eth0 192.168.173.1 exists, ps: return 0 exist, other not exist.
cluster_keepalive_test
------------------------
(1 row)
2015-01-0408:52:01 detecting 192.168.173.130 address up on eth0 ....
2015-01-0408:52:01 detecting 192.168.173.131 address up on eth0 ....
2015-01-0408:52:01 detecting postgresql listener on peer host.
connect failed!: Operation now in progress
socket created!
在新主节点(192.168.173.42)接着压
postgres@db-192-168-173-42-> pgbench -M prepared -n -r -f ./test.sql -c 16 -j 4 -T 30
最后主备一致性检查
新主节点
postgres=# select count(*),sum(hashtext(info)) from test;
count | sum
---------+---------------
1808909 | -680268294581
(1 row)
新备节点
postgres=# select count(*),sum(hashtext(info)) from test;
count | sum
---------+---------------
1808909 | -680268294581
(1 row)
[参考]
1. https://github.com/digoal/PostgreSQL_HA_with_primary_standby_2vip
2. https://github.com/digoal/sky_postgresql_cluster
3. http://blog.163.com/digoal@126/blog/static/163877040201481085344535/
4. http://blog.163.com/digoal@126/blog/static/163877040201481085624211/
扫码关注
DBAplus社群
来自各领域的牛逼DBA正在向我们汇聚
DBA+社群每周举办线上专题分享、热议话题探讨等活动，点击【阅读原文】加入你所在的DAB+城市微群，一起来交流学习吧！